Du là con trai thứ năm của quyền thần Cao Hoan nhà Đông Ngụy, mẹ là Đại Nhĩ Chu thị – cơ thiếp của Hoan. Cao Hoan tự nhận mình có tổ tịch ở huyện Điệu, quận Bột Hải [1]; về sau nhà Bắc Ngụy dời con em nhà lành đến Lục trấn, ông nội của Hoan là Cao Mật nhân đó định cư ở trấn Hoài Sóc.

Năm Nguyên Tượng thứ 2 (539) thời Đông Ngụy Hiếu Tĩnh đế, Du được bái làm Thông trực tán kỵ thường thị, phong Trường Lạc quận công. Bác sĩ Hàn Nghị dạy Du viết chữ, thấy nét chữ của ông chưa đẹp, đùa rằng: "Thư họa của Ngũ lang thế này, đột ngột được làm Thường thị Khai quốc, sau hôm nay càng nên dụng tâm." Du nghiêm mặt nói: "Xưa Cam La nhỏ tuổi làm tướng Tần, chưa nghe nói là giỏi viết chữ. Người thường đều nói tài năng là thế, có nhắc gì đến nét chữ. Bác sĩ hiện giờ thầy có thể làm, sao làm không nổi tam công?" Nghị rất xấu hổ. Bấy giờ Du mới hơn 8 tuổi.